Gary chào đời với cái tên khai sinh Roman Kacew (tiếng Yid: קצב‎, tiếng Nga: Рома́н Ка́цев) tại Vilna, Đế quốc Nga (nay là Vilnius, Litva).[1][2] Trong những tác phẩm và qua các cuộc phỏng vấn, ông đã giới thiệu nhiều phiên bản khác nhau về nguồn gốc cha mẹ, tổ tiên, nghề nghiệp và thời thơ ấu của mình. Mẹ ông tên là Mina Owczyńska (1879—?),[1][3] là một nữ diễn viên Litva gốc Do Thái vùng Švenčionys và cha ông là một doanh nhân tên gọi Arieh-Leib Kacew (1883—1942) quê miền Trakai, cũng là một người Litva gốc Do Thái.[4][5] Arieh Leib đã bỏ bê gia đình và tái hôn với một người phụ nữ khác vào năm 1925. Gary về sau cho biết người cha ruột của ông chính là diễn viên và ngôi sao điện ảnh nổi tiếng Ivan Mozzhukhin, mà mẹ ông từng làm việc chung với nhau và trông ông có nét tương đồng nổi bật với cha mình. Mozzhukhin xuất hiện trong quyển tự truyện của ông nhan đề Lời hứa lúc bình minh.[6] Khi Gary vừa tròn mười bốn tuổi, hai mẹ con đã dọn đến sống tại Nice, Pháp. Theo mẹ cải sang đạo Thiên Chúa, Gary bắt đầu vào học luật ở Aix-en-Provence và Paris. Sau khi lấy bằng cử nhân Luật vào năm 1938, ông tham gia nghĩa vụ quân sự và gia nhập Không quân Pháp ở Salon-de-Provence và tại Căn cứ Không quân Avord, nằm gần Bourges.